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Применение нейронных сетей на основе 
ПЛИС для решения задач надежности 
коммуникационных информационных систем 


В статье рассматривается проблема построения нейронных сетей для решения задачи надежности 
информационных систем. Предлагается построение рекуррентных нейронных сетей и фильтров 
Калмана на основе программируемых интегральных схем. 


Введение 


Большинство неисправностей, возникающих в информационных системах, мало- 
формализованы и трудно поддаются предсказанию, основанной на традиционных 
математических методах. Каждый компонент информационной системы может иметь 
свой коэффициент надежности, что ведет к большому числу входной информации и 
громоздким решениям [1-4]. 

Применяя парадигму нейронных сетей, можно создавать параллельные и распре- 
деленные структуры с высокой скоростью вычислений и большей эффективностью 
для реализации задач контроля и обеспечения надежности информационных систем. 
Для реализации распараллеливаемых моделей нейронных сетей возможно использовать 
программируемые логические интегральные схемы (ПЛИС). 

В статье предложен вариант реализации нейронных сетей на программируемых 
логических элементах. Большую часть элементов типичных сетей можно построить 
из реализуемых в ПЛИС арифметических функций (сложение, вычитание, умножение, 
деление, вычисление квадратного корня), компараторы. Это, в частности, позволяет 
построить внутреннюю реализацию достаточно гладких аппроксимаций сигмоидальных 
нелинейных функций. Кроме того, существует возможность использования совре- 
менных интерфейсных решений в ПЛИС, связанных с управлением и программиро- 
ванием формы и скорости входных и выходных сигналов. 

Большое количество вентилей ПЛИС позволяет реализовать достаточно много 
физически параллельно работающих нейронов, обмен данными между которыми 
может осуществляется внутри ПЛИС. Каналы связи между логическими элементами 
и внутренней памятью ПЛИС обладают хорошими скоростными характеристиками. 
Высокая тактовая частота работы ПЛИС (в современных схемах — до гигагерцевых 
частот), параллельность функционирования логики с хорошими внутренними и 
внешними каналами передачи данных способствует высокой скорости вычислений 
для множества параллельно функционирующих нейронов (а точнее, их реализаций). 

Учитывая особенности ПЛИС, в статье рассматриваются карты самоорганизации 
и рекуррентные сети и фильтры Калмана для реализации двухуровневой системы, 
решающей задачи отслеживания и детектирования опасных состояний и повышения 
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надежности в коммуникационных информационных системах. На верхнем уровне 
предлагается использование карт самоорганизации Кохонена, которые распознают 
тип поведения системы на глобальных периодических интервалах времени. На нижнем 
уровне предлагается использование фильтров Калмана для предсказания и оценки 
поведения системы на небольших интервалах времени. Также предложено ввести оценку 
параметров 4, определяющих отклонение работы коммуникационной информационной 
системы от эталонной или типовой модели. 

Цель данной работы состоит в разработке методов и средств повышения 
надежности коммуникационных информационных систем посредством построения 
нейронных сетей на базе ПЛИС. 

Объектом исследования является программно-аппаратная структура, определяемая 
используемыми моделями нейронных сетей и ПЛИС. 

Предметом исследования является оценка реализуемости двухуровневой нейронной 
модели посредством параллельно-конвейерных вычислений в ПЛИС заданных типов. 

В данной работе исследуются также математические модели и алгоритмы 
обучения нейронных сетей, представленных в базисе ПЛИС. 


Вычислительные структуры в ПЛИС 


Программируемые логические интегральные схемы состоят из логических блоков 
и коммутирующих связей — программируемых матриц соединений. Логические блоки 
таких ПЛИС состоят из одного или нескольких относительно простых логических 
элементов, в их основе лежит таблица перекодировки, программируемый мультиплексор, 
триггер, цепи управления. Таких простых элементов может быть до | миллиона, 
число логических элементов достигает нескольких десятков тысяч. За счет большого 
числа логических элементов предоставляется возможность реконфигурировать модули 
памяти, что делает ПЛИС средством реализации алгоритмов цифровой обработки 
сигналов, основными операциями которых являются перемножение, умножение на 
константу, суммирование, задержка сигнала. Характерными для архитектур ЕРСА 
являются элементы ввода — вывода, позволяющие реализовать двунаправленный 
ввод — вывод, третье состояние. 

Логические элементы объединяются в группы — логические блоки. Внутри 
логических блоков логические элементы соединяются посредством локальной про- 
граммируемой матрицы соединений, позволяющей соединять любой логический элемент 
с любым другим. Логические блоки связаны между собой и с элементами ввода — 
вывода посредством глобальной программируемой матрицы соединений. Локальная 
и глобальная матрицы соединений имеют непрерывную структуру, для каждого 
соединения выделяется непрерывный канал. 

ПЛИС фирмы «Альтера» выпускаются с возможностью программирования в 
системе непосредственно на плате. 


Моделирование вычислительных структур устройств, 
функционирующих в базисе ПЛИС 


За счет простоты реализации обратных связей в ПЛИС рекуррентные нейронные 
сети являются одним из важнейших типов нейронных сетей, которые возможно 
реализовывать на таких интегральных схемах. 

Рекуррентные нейронные сети возможно использовать для решения задач 
аппроксимации временных последовательностей, классификации. Рекуррентные сети 
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являются динамическими, так как в силу обратных связей в них модифицируются 
входы нейронов, что приводит к изменению состояния сети. Поведение рекуррентных 
сетей описывается дифференциальными или разностными уравнениями, как правило, 
первого порядка. Это гораздо расширяет области применения нейросетей и способы их 
обучения. Сеть организована так, что каждый нейрон получает входную информацию 
от других нейронов, возможно, и от самого себя, и от окружающей среды 


Выходы 


Рисунок 1 — Рекуррентная сеть с одним скрытым слоем 


Вхолы 


Элемент задержки 


Учитывая возможности сред разработки для современных ПЛИС (в частности, 
в них возможна автоматическая реализация умножителей, сумматоров, делителей 
разных типов, вычисление квадратного корня и других мега-функций), появляется 
возможность реализации нейронных сетей типа самоорганизующихся карт Кохонена. 

В картах Кохонена весовые коэффициенты перевычисляются по следующей 


формуле: 
У, (п+1 = У, (п) + п(п)й, к (п(х И, (п)), (1) 
где и’; (и) — вес /-го нейрона на и шаге, 
(п) — параметр скорости обучения, 
й, (п) — функция окрестности с центром в победившем нейроне, 


(х) — вектор наблюдения на и шаге. 
Поиск максимального подобия вычисляется поиском наиболее подходящего 
нейрона /(х) на шаге и, используя критерий минимума Евклидова расстояния: 


/(х) = ате та ху, ей: (2) 
В пространстве векторов выбирается набор векторов, которые близки к объектам. 
Признаки надежности систем зависят от времени. Для времязависимых входных 

векторов удобно считать пространство, содержащее наблюдаемые векторы х, функцио- 
нальным пространством или отображением, у которого область определения является 
временем, а область значений может быть гетерогенным пространством, состоящим 
из двух частей — наблюдаемой статистической части и оценкой текущего состояния 
системы. 

Для распознавания (классификации) состояний коммуникационной информацион- 
ной системы необходимо адекватное представление параметров времени, статистики, 
а также дополнительного параметра, представляющего себе внешнюю оценочную 
характеристику состояния коммуникационной информационной системы. Эта характе- 
ристика может быть задана экспертом или получаться автоматически на основании 
обработки системных журналов. 
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Для параметра времени следует определить циклы, которые коррелируют с 
состоянием системы внутри временных интервалов и определяются задачами функцио- 
нирования системы. Обычно существуют циклы задаваемые внутри суток, по неделям, по 
месяцам, годовая цикличность. Необходимость учета наблюдаемой цикличности в пове- 
дении системы привела к следующему решению: мы предлагаем одномерное временное 
пространство погрузить в многомерный тор. При представлении многомерного тора в 
евклидовом пространстве время можно представить в виде кривой на поверхности 
многомерного тора, погруженного в евклидово пространство достаточной размерности. 
Многомерный тор описывается как топологическое произведение соответствующих 
циклических подпространств. В нашей работе мы выделяем шесть таких подпространств: 


о Я (3) 


где Т— топологическое пространство для представления времени, 5' — временной 
интервал порядка часа, 5? — суточный интервал, 5° — недельный интервал, 5” — месяц, 
5 — квартал, 5° —год. 

Каждое из этих подпространств (на упрощенном рис. 2 они представлены 
выделенными кольцами) — одномерное замкнутое пространство. Это означает, что 
достаточно легко реализовать вычисления многомерной близости для параметров 
времени. Вычислительные операции в нейронной сети, которые определяют близость 
расстояния, должны быть модифицированы в соответствии с представленной топо- 
логической моделью, которая определяет отношение близости во временном про- 
странстве с учетом естественных периодических факторов. 


Рисунок 2 — Вложение двухмерного тороидального топологического временного 
пространства в трехмерное пространство 


Изменение системы, выходящее за рамки адаптивных отслеживающих нейронных 
сетей для заданного интервала времени, примем за неисправность, а также примем 
за неисправность уход параметров от эталонной модели за пределы допустимых 
отклонений. Цикличность на коротких временных интервалах (меньших часа) зависит 
от работы системы и может меняться. 

Статистика привязана к данной топологической модели времени, т.к. она также 
зависит от времени. Параметры статистики представляются в виде вектора в обычном 
евклидовом пространстве. На выходе есть предварительная оценка качества 
функционирования системы. Задача нейронной сети, реализующей карты Кохонена, 
состоит в том, чтобы минимизировать получаемую информацию и построить наборы 
кластеров, которые отражают типичную работу системы в разные моменты времени. 

Далее необходимо адаптировать формулу (2) к постановке нашей задачи. Тогда 
получим: 


<) = аго пит, пип(р, (х, и) +р.), (4) 
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где элементарное состояние и’; — это вектор, описывающий состояние системы 
в заданный момент времени; 

4-— внешняя («экспертная») оценка, которая также является компонентом вектора и”; 

р,-— составляющая часть метрики по времени; 

р;-— составляющая часть метрики по статистическим характеристикам; 

ра- вклад внешней оценки в расстояние. 

Для оценки расстояний можно использовать евклидовы нормы или модифици- 
рованные нормы с учетом топологии пространства. 

Таким образом, появляется возможность корректировать веса в формуле (2) с 
учетом временной зависимости данных и типичных задающих временных интервалов. 

Для отслеживания поведения системы на коротких временных интервалах в ПЛИС 
предпочтительнее использовать рекуррентные фильтры. Одним из наиболее хорошо 
зарекомендовавших себя рекурсивных нейронных сетей является фильтр Калмана. 

Фильтр Калмана должен отслеживать неисправности двух вариантов: быстрые вре- 
менные изменения, которые нарушают свойства линейной предсказуемости, и изменения, 
которые уходят от заданной адаптивной модели, определяемой картой Кохонена. 

Особенностью фильтра Калмана является его хорошая обучающая адаптивная 
способность. 

Для предсказания поведения системы, целесообразно использовать фильтры 
Калмана, которые характеризуются: 

— формулировкой в терминах концепции пространства состояний и эффективным 
использованием информации, содержащейся во входных данных; 

— рекурсивной оценкой состояний, что означает вычисление каждой скорректи- 
рованной оценки на основе предыдущей оценки и допустимых в текущий момент 
данных. 

Рассмотрим один из самых простых вариантов использования фильтра Калмана 
для отслеживания текущего состояния системы. 

Уравнение, процесса, описывающего предсказуемую модель изменения текущего 
состояния на заданном интервале: 


и (и-+ 1) = Еии) +у(и). (5) 
Уравнение описывающее процесс измерения этого состояния: 
п) = с(п)ихп), (6) 


где ии) — вектор состояния системы, 

(п) — вектор наблюдения, 

с(п) — матрица измерений, 

у(п) — шум или флуктуации в поведении системы, 

Е- матрица изменений состояния системы на каждом шаге (в одномерном случае — 
это скалярный параметр, определяющий тип локальной эволюции измеряемой величины). 

Точное состояние (и) системы может меняться в определенных пределах, за- 
дающих границы нормального функционирования. Фильтр Калмана хорошо отслеживает 
локальную эволюцию скрытых параметров и позволяет своевременно обнаруживать ста- 
тические и динамические отклонения, правда, в рамках линейной модели отслеживания. 

Описание фильтра Калмана возможно с помощью понятия инновации. Более точно 
процесс инновации, связанный с вектором наблюдений 4(п), определяется следу- 


ющим образом: 
а(п) =4(п)-а(ии-1), (7) 


510 «Искусственный интеллект» 32011 


Применение нейронных сетей на основе ПЛИС для решения задач надежности... Л 


где 4 (пи —1) — оценка 4(и) с минимальной среднеквадратической ошибкой на 


основе всех прошлых значений вектора наблюдений, начиная с момента времени 
п = | и заканчивая моментом и-— 1. Под оценкой с минимальной среднеквадратической 
ошибкой понимается та оценка, которая минимизирует среднеквадратическую 
ошибку 4(п). Инновационный процесс а(п) можно рассматривать как меру новой инфор- 


мации, содержащейся в 4(п) , которая была недоступна в прогнозируемой части а (пи 1. 


Предлагаемая нейросетевая контролирующая система изображена на рис. 3. 
На начальном этапе определяется тип функционирования системы с помощью сетей 
Кохонена, на втором этапе выполняется отслеживание отклонения поведения системы 
на небольших интервалах. 


Входные Выходные 
данные данные 
Входные Рек ентная 
в УРР Выходные 
данные сеть 
данные 


Рисунок 3 — Нейросетевая контролирующая система 


Входными сигналами является последовательность изменений параметров как 
функция времени для каждой компоненты системы. 


Эталонный сигнал 


Входной Выходной Ошибка 


сигнал Адаптивный сигнал 
фильтр 


Адаптивный алгоритм 


Рисунок 4 — Решение задачи идентификации отклонения поведения от эталона с 
помощью рекуррентной адаптивной нейронной сети 


Критерий нормального функционирования на локальных интервалах определяется 
локальным или глобальным минимумом на поверхности ошибок рекуррентной сети. 
Для рекуррентной сети, построенной с И’ синаптическими весами и р выходными 
узлами, можно записать уравнение эволюции параметров сети в точки локального 
или глобального минимумов как: 


и (п+1П) = ии), 


4»(п) = с( мп), и(п), у(п)) +у(п), 


где вектор весов (и) играет роль состояния (но уже самой сети), 


(8) 
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вектор 4(п) — желаемый отклик сети. 

Второй аргумент и(п) и третий аргумент у(п) в нелинейной вектор-функции с(, , ) 
измерений обозначают соответственно входной вектор и вектор рекуррентной 
активности узла. В результате уравнение (8) определяет квазиустойчивое состояние 
синапсов нейронной сети, соответствующее некоторому заданному поведению. 

Для большого числа нейросетевых моделей важным является выбор нелинейной 
функции преобразования. Сигмоидальная функция является одной из важных для 
нейросетевых систем с хорошими адаптационными свойствами (например, хорошей 
обучаемости, мягкого отслеживания изменений и т.д.). В стандартной архитектуре 
ПЛИС отсутствует такая операция среди готовых макрофункций. Однако возможно 
построить аппроксимацию сигмоидальной функции с помощью кусочно-рациональных 
функций имеющих разрыв второй производной в точке ноль и допустимую дискретность. 
Такая аппроксимация должна обеспечивать сходимость методов обучения, если пред- 
полагается автономное обучение нейронной сети. Для многослойных и рекуррентных 
сетей допустима следующая аппроксимация: 

МАх 


и. (9) 


где М — выходной диапазон значений нелинейной функции, область значений; 

К - угловой коэффициент; 

С — коэффициент, определяющий нулевой уровень (уровень срабатывания, 
если рассматривать логику компараторов). Для неотрицательных чисел С = М. 

Исходя из того, что каждая такая функция требует относительно больших 
затрат ресурсов (логических вентилей и элементов памяти), наиболее выгодными с 
точки зрения реализации являются рекуррентные схемы нейронных сетей. Для 
реализации нейросетевых алгоритмов в ПЛИС весовые коэффициенты в матрицах, 
исходя из ограничений реализации, следует выбирать из целых чисел. Идеальными 
весовыми коэффициентами являются коэффициенты степени два. Дробные коэффици- 
енты моделируются как рациональные числа. В линейных частях реализации нейро- 
моделей используются числители рациональных чисел. Знаменатель можно вынести 
в качестве расширенного параметра М в уравнении (9) или учитывать его при норми- 
ровании. Это накладывает ограничения на выбор коэффициентов и, в частности, делает 
желательным процесс предварительного обучения нейронных сетей. Важной задачей 
является задача разработки робастных алгоритмов автономного обучения для сетей с 
такими ограничениями. 


Выводы 


Предложенная модель реализации нейронной сети на базе ПЛИС дает 
возможность предсказывать сбои в коммуникационных информационных системах 
на основе фильтра Калмана и карт Кохонана в зависимости от изменений работы 
системы, учитывая временные интервалы. 

Представление входных данных с учетом временных интервалов дает возмож- 
ность учитывать периодические изменения в работе системы, связанные с внешними 
факторами. 

Применение ПЛИС для реализации нейронных сетей позволяет увеличить 
скорость обработки сигналов, в отличие от программной реализации. 
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О.М. Лозович, А.Л. Максимов 

Використання нейронних мереж на основ! програмованих лойчних тегральних схем для розв’язання 

задач надШност! 

У статт! розглядаеться проблема побудови нейронних мереж для вирипення проблем надйност! 
комунщжащйних 1нформацйних систем. Пропонуеться двохетапний метод побудови системи на основ1 
карт Кохонана та флльтра Калмана. 


О. №. Гозомсй, А.Г. Макуйтоу 
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тепаб Ищу ое оРсоттишсайоп шЮппайуе зузеттв. И 15 оЙеге4 мо а базе тефо4, сопзгасйоп$ оЁ Ве 
зузет оп Ше Баз1$ оР КоксКеп тарз ап4 КаПпап ег. 
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